統計的推論は次のように問うます：「このデータが与えられたとき、最も可能性の高い母数は何か？」このスライドはその問いを 凸最適化に結びつけています。対数凹性という条件下では、最良の推定値を見つけることは、凸最適化問題を解くことと等価であることが示されます。
尤度の枠組み
「 尤度関数 」とは、観測された標本 $y$ を固定したもとで、パラメータ $x$ の関数として見た確率分布 $p_x(y)$ です。$x$ を推定するために、 最尤推定（ML推定）を使用します。これは、観測データが最も確率が高いようになるような値を選ぶ方法です。
$$\hat{x}_{ml} = \text{argmax}_x p_x(y) = \text{argmax}_x l(x)$$
計算効率を高めるために、 対数尤度関数、$l(x) = \log p_x(y)$ を用います。対数は単調増加関数であるため、最大値の位置を保ちつつ、独立な観測からの積を扱いやすい和に変換します。
最尤推定の最適化プログラム（7.1）
我々は、推定を数学的なプログラムとして形式化します：
$$\begin{array}{ll} \text{最大化} & l(x) = \log p_x(y) \\ \text{制約条件} & x \in C \end{array}$$ （7.1）
このプログラムは 凸最適化問題 以下の場合に成り立ちます：
- 対数尤度関数 $l$ が 凹関数 各 $y$ 値に対して成り立つこと。
- 許容領域 $C$（事前情報）は、線形等式および凸不等式の制約によって記述されること。
制約と事前情報の統合
ML推定では、物理的または事前情報の制約を明示的に課すために、$x \notin C$ となる場合に $p_x(y)$ をゼロに再定義する必要があります。最適化空間においては、これらの制約に違反するパラメータ $x$ に対して対数尤度関数に $-\infty$ を割り当てることになり、最適化機が越えられない障壁が形成されます。
🎯 核心原則
「最尤推定」から「凸プログラム」への移行は、対数密度の凹性に依存しています。ノイズや分布が対数凹性であれば、統計的推定はグローバルに解ける最適化問題になります。